next-token predictionはAGIの夢を見るか？

Next-Token Predictionがメインの言語モデルは世界を思い出す

AGI は、身体性を持ち、価値基準を持ち、世界を能動的に書き換える

なぜNext token predictionによる学習をベースとして、驚くほど良いモデルができるのか？

ソロモレフ推論

「あり得るすべての計算可能モデル」を プログラム長でオッカム的に重み付け してベイズ的に予測する理論

コルモゴロフ複雑性

要は「どれだけシンプルに書けるか」という 圧縮度 の極限

情報圧縮モデルと「主体としての知能」：AIXI 批判から広がる身体性・主観性の議論

AIXI は、あらゆるプログラムを事前確率として想定し（Universal Prior）、環境を最も短い形で記述・予測しつつ、エージェントが受け取る「報酬」を最大化するよう行動を選ぶ究極のベイズ最適学習者だと位置づけられる。一見すると「圧倒的に万能な知能」の定式化に思えるが、このとき主観性（第一人称的な視点）や身体性（身体を介した相互作用）が切り捨てられているという批判が生じる。

PCP定理

「NP で証明できることは、乱数を 対数 しか使わずに、証明（長さ poly(n) の文字列）の O(1) 箇所だけ を読めば高確率で検証できる」

Solomonoff Induction／Kolmogorov 複雑性と PCP 定理は、「情報をどう符号化し、どれだけ読めば十分か」 という同じ問いに 圧縮 と 冗長化 の両極からアプローチした兄弟理論

Kolmogorov 複雑性を通じた解析により、PCP が 「短い記述不可」⇄「局所検査容易」 のトレードオフを最小限で達成している